This work addresses the problem of generating 3D holistic body motions from human speech. Given a speech recording, we synthesize sequences of 3D body poses, hand gestures, and facial expressions that are realistic and diverse. To achieve this, we first build a high-quality dataset of 3D holistic body meshes with synchronous speech. We then define a novel speech-to-motion generation framework in which the face, body, and hands are modeled separately. The separated modeling stems from the fact that face articulation strongly correlates with human speech, while body poses and hand gestures are less correlated. Specifically, we employ an autoencoder for face motions, and a compositional vector-quantized variational autoencoder (VQ-VAE) for the body and hand motions. The compositional VQ-VAE is key to generating diverse results. Additionally, we propose a cross-conditional autoregressive model that generates body poses and hand gestures, leading to coherent and realistic motions. Extensive experiments and user studies demonstrate that our proposed approach achieves state-of-the-art performance both qualitatively and quantitatively. Our novel dataset and code will be released for research purposes at https://talkshow.is.tue.mpg.de.

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

Air pollution is a crucial issue affecting human health and livelihoods, as well as one of the barriers to economic and social growth. Forecasting air quality has become an increasingly important endeavor with significant social impacts, especially in emerging countries like China. In this paper, we present a novel Transformer architecture termed AirFormer to collectively predict nationwide air quality in China, with an unprecedented fine spatial granularity covering thousands of locations. AirFormer decouples the learning process into two stages -- 1) a bottom-up deterministic stage that contains two new types of self-attention mechanisms to efficiently learn spatio-temporal representations; 2) a top-down stochastic stage with latent variables to capture the intrinsic uncertainty of air quality data. We evaluate AirFormer with 4-year data from 1,085 stations in the Chinese Mainland. Compared to the state-of-the-art model, AirFormer reduces prediction errors by 5%~8% on 72-hour future predictions. Our source code is available at https://github.com/yoshall/airformer.

Named entity recognition is a traditional task in natural language processing. In particular, nested entity recognition receives extensive attention for the widespread existence of the nesting scenario. The latest research migrates the well-established paradigm of set prediction in object detection to cope with entity nesting. However, the manual creation of query vectors, which fail to adapt to the rich semantic information in the context, limits these approaches. An end-to-end entity detection approach with proposer and regressor is presented in this paper to tackle the issues. First, the proposer utilizes the feature pyramid network to generate high-quality entity proposals. Then, the regressor refines the proposals for generating the final prediction. The model adopts encoder-only architecture and thus obtains the advantages of the richness of query semantics, high precision of entity localization, and easiness of model training. Moreover, we introduce the novel spatially modulated attention and progressive refinement for further improvement. Extensive experiments demonstrate that our model achieves advanced performance in flat and nested NER, achieving a new state-of-the-art F1 score of 80.74 on the GENIA dataset and 72.38 on the WeiboNER dataset.

用于机器阅读理解（MRC）的大多数领域适应方法都使用预先训练的问题解答（QA）构造模型来生成用于MRC传输的伪QA对。这样的过程将不可避免地引入不匹配的对（即嘈杂的对应关系），因此由于i）目标文档中不可用的QA对，ii）在将QA构造模型应用于目标域时的域移位。毫无疑问，嘈杂的信件将退化MRC的性能，但是现有作品忽略了MRC的性能。为了解决这样一个未触及的问题，我们建议通过使用与文档相关的对话以及MRC的新域适应方法来构建质量检查对。具体而言，我们建议用于机器阅读理解理解（RMRC）方法的强大域适应性，该方法由答案提取器（AE），问题选择器（QS）和MRC模型组成。具体而言，RMRC通过通过AE估算与文档的相关性来滤除无关的答案，并通过通过QS将候选问题融合在多轮对话聊天中来提取问题。使用提取的QA对，MRC进行了微调，并提供了反馈，以通过一种新颖的增强自我训练方法优化QS。得益于QS的优化，我们的方法将大大减轻域转移引起的嘈杂对应问题。据我们所知，这可能是揭示噪声对应性在域适应MRC模型中的影响的第一个研究，并显示出一种可行的方法来实现与错配对的鲁棒性。在三个数据集上进行的广泛实验证明了我们方法的有效性。

开放世界对象检测是一个更具笼统和挑战性的目标，旨在识别和本地化由任意类别名称描述的对象。最近的工作GLIP通过将检测数据集的所有类别名称连接到句子中，从而将此问题作为接地问题，从而导致类别名称之间的效率低下的相互作用。本文介绍了Distclip，这是一种通过诉诸于设计概念词典的知识富集，是一种平行的视觉概念训练预训练方法，用于开放世界检测。为了提高学习效率，我们提出了一种新型的并行概念公式，该公式分别提取概念，以更好地利用异质数据集（即检测，接地和图像文本对）进行培训。我们进一步设计了来自各种在线资源和检测数据集的概念字典〜（带有描述），以提供每个概念的先验知识。通过用描述丰富这些概念，我们明确地建立了各种概念之间的关系，以促进开放域学习。所提出的概念词典进一步用于提供足够的负面概念，用于构建单词区域对齐损失\，并完成图像对文本对数据标题中缺少描述的对象的标签。所提出的框架显示出强烈的零射击性能性能，例如，在LVIS数据集上，我们的DETCLIP-T优于9.9％的地图GLIPT-T优于GLIP-T，并且与完全避免的型号相比，稀有类别的稀有类别提高了13.5％。作为我们的。

查找最佳消息量化是低复杂性信念传播（BP）解码的关键要求。为此，我们提出了一个浮点替代模型，该模型模仿量化效果，作为均匀噪声的添加，其幅度是可训练的变量。我们验证替代模型与定点实现的行为非常匹配，并提出了手工制作的损失功能，以实现复杂性和误差率性能之间的权衡。然后，采用一种基于深度学习的方法来优化消息位。此外，我们表明参数共享既可以确保实现友好的解决方案，又比独立参数导致更快的培训收敛。我们为5G低密度均衡检查（LDPC）代码提供模拟结果，并在浮点分解的0.2 dB内报告误差率性能，平均消息量化位低于3.1位。此外，我们表明，学到的位宽也将其推广到其他代码速率和渠道。

近年来，随着新颖的策略和应用，神经网络一直在迅速扩展。然而，尽管不可避免地会针对关键应用程序来解决这些挑战，例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此，出现了神经符号学习（Nesyl）概念，其中结合了符号表示的各个方面，并将常识带入神经网络（Nesyl）。在可解释性，推理和解释性至关重要的领域中，例如视频和图像字幕，提问和推理，健康信息学和基因组学，Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查，其原理，机器和深度学习算法的进步，诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。

为了弥合监督语义细分与现实世界应用程序之间的差距，这些应用程序获取一个模型以识别任意新概念，最近的零弹性细分通过探索看不见的对象类别之间的关系，吸引了很多关注带有不同基础类别的通知数据。在本文中，我们提出了一种新的开放世界语义分割管道，该管道首次尝试学习各种开放世界类别的语义对象，而无需对密集注释进行任何努力，纯粹是通过纯粹利用自然存在的图像捕获数据来进行的。互联网。我们的方法，视觉语言驱动的语义分割（VIL-SEG），采用图像和文本编码器来生成图像捕获数据的视觉和文本嵌入，具有两个核心组件，具有赋予其分割能力的两个核心组件：首先，图像，图像，图像编码器通过基于视觉的对比和跨模式对比度进行了共同训练，这鼓励视觉嵌入既保留对细分任务至关重要的细粒语义和高级类别信息。此外，在图像编码器上设计了一个在线聚类头，该群体可以动态地将视觉嵌入到不同的语义组中，以便可以通过与各种文本嵌入来完成分类以完成我们的细分管道来对其进行分类。实验表明，如果不使用任何具有密集注释的数据，我们的方法可以直接分割任意类别的对象，超过了需要在三个基准数据集上进行数据标记的零摄像分割方法。

深度神经网络的兴起为优化推荐系统提供了重要的驱动力。但是，推荐系统的成功在于精致的建筑制造，因此呼吁神经建筑搜索（NAS）进一步改善其建模。我们提出了NASREC，它是一种训练单个超级网的范式，并通过重量共享有效地产生丰富的模型/子构造。为了克服数据多模式和体系结构异质性挑战，NASREC建立了一个大型的超级网（即搜索空间），以搜索完整的体系结构，而SuperNet结合了多功能操作员的选择和密集的连接性选择，并使人类的密集连接性最小化。 Nasrec的规模和异质性在搜索中构成了挑战，例如训练效率低下，操作员不平衡和降级等级相关性。我们通过提出单操作员任何连接采样，操作员平衡互动模块和训练后微调来应对这些挑战。我们对三个点击率（CTR）预测基准测试的结果表明，NASREC可以胜过手动设计的模型和现有的NAS方法，从而实现最先进的性能。